针对现有对齐多模态语言序列情感分析方法常用的单词对齐方法缺乏可解释性的问题，提出了一种用于未对齐多模态语言序列情感分析的多交互感知网络（MultiDAN）。MultiDAN的核心是多层的、多角度的交互信息提取。首先使用循环神经网络（RNN）和注意力机制捕捉模态内的交互信息；然后，使用图注意力网络（GAT）一次性提取模态内及模态间的、长短期的交互信息；最后，使用特殊的图读出方法，再次提取图中节点的模态内及模态间交互信息，得到多模态语言序列的唯一表征，并应用多层感知机（MLP）分类获得序列的情感分数。在两个常用公开数据集CMU-MOSI和CMU-MOSEI上的实验结果表明，MultiDAN能充分提取交互信息，在未对齐的两个数据集上MultiDAN的F1值比对比方法中最优的模态时空注意图（MTAG）分别提高了0.49个和0.72个百分点，具有较高的稳定性。MultiDAN可以提高多模态语言序列的情感分析性能，且图神经网络（GNN）能有效提取模态内、模态间的交互信息。

社交媒体网站上使用GIF（Graphics Interchange Format）作为消息的回复相当普遍。但目前大多方法针对问题“如何选择一个合适的GIF回复消息”，没有很好地利用社交媒体上的GIF附属标记信息。为此，提出基于对比学习和GIF标记的多模态对话回复检索（CoTa-MMD）方法，将标记信息整合到检索过程中。具体来说就是使用标记作为中间变量，文本→GIF的检索就被转换为文本→GIF标记→GIF的检索，采用对比学习算法学习模态表示，并利用全概率公式计算检索概率。与直接的文本图像检索相比，引入的过渡标记降低了不同模态的异质性导致的检索难度。实验结果表明，CoTa-MMD模型相较于深度监督的跨模态检索（DSCMR）模型，在PEPE-56多模态对话数据集和Taiwan多模态对话数据集上文本图像检索任务的召回率之和分别提升了0.33个百分点和4.21个百分点。